第九章

D 视觉基础

汇报人：陈西PPT工作室

3

相机标定

双目立体视觉

激光三角测量

小结

相机标定

在机器视觉领域中，如果要从图像中获取准确的三维世界的真实

信息，必须建立相机成像的几何模型，这些几何模型参数就是相机的内

外参数。

三维空间坐标

二维空间的点，如图像平面上的P 点的坐标由 ⁽^u^,^v⁾

两个值组成。

三维空间中的点坐标由3个值组成，即（x , y , z ），这

w

3个值也可以表示为一个三维向量。

例如，世界坐标系中的p 点 , 其坐标表示成向量如下

w

所示：

T

p  (x , y , z )

w

描述点的坐标系常涉及以下几种，如右图所示。ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ

三维空间坐标

1、图像像素坐标系：表示场景中三维点在图像平面中的位置，其坐标系的原点一

般在图像的左上角。u轴为行方向，沿着原点向右递增；v轴为列方向，从原点开始向下

递增。

2、图像物理坐标系：图像像素坐标系只是表征像素的位置，但像素并没有实际的

物理意义。因此，需建立具有物理单位（如mm)的平面坐标系。其坐标原点在图像平面

的中心 , X轴和Y轴分别平行于图像像素坐标系的坐标轴，坐标用来表示。

三维空间坐标

3、相机坐标系：相机坐标系的原点位于相机光心，其X轴与Y轴方向平行于图像坐

标系的X轴、Y轴。相机的光轴为Z轴，坐标系满足右手法则。光轴与成像平面的交点称

为图像主点。场景点在相机坐标下的三维坐标，即将场景点表示成以观察者为中心的数

据形式，可以用表示。

4、世界坐标系：即真实世界中的坐标，也称为绝对坐标系，其原点也是以相机光

心为原点的，场景点的三维坐标用表示。标定的意义就在于，通过图像上一个点的坐标

推算出该点在世界坐标系中的坐标。

标定的目的和意义

相机的成像过程实质上是坐标系的转换。但是由于透镜制造精度以及组装工艺的偏差会出现

不同程度的畸变，导致原始图像的失真。

镜头的畸变分为径向畸变和切向畸变两类。径向畸变主要是由镜头形状缺陷造成的，它又分为

枕形畸变和桶形畸变，如下图所示。

（

a）枕形畸变

（b）桶形畸变

标定的参数

1

.内部参数

通过标定得到的相机内部参数描述了所使用的相机的特性，一般只与相机自身的内部结构有关，

而与相机位置参数无关。内部参数一般包括相机的焦距、畸变系数、像素间距、中心点坐标、图像

的宽和高等。ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ ꢀꢀꢀ

2

.外部参数

相机的外部参数描述相机坐标系与世界坐标系的关系，即相机在世界坐标系中的三维位置，如

相机的X轴坐标、Y轴坐标、Z轴坐标，以及相机的朝向（如围绕X轴、Y轴、Z轴旋转的角度）等。ꢀꢀꢀꢀꢀ

Halcon标定流程

双目立体视觉

双目立体视觉的开创性工作始于上世纪的60年代中期。美国MIT

的Roberts通过从数字图像中提取立方体、楔形体和棱柱体等简单规则

多面体的三维结构，并对物体的形状和空间关系进行描述，把过去的简

单二维图像分析推广到了复杂的三维场景，标志着立体视觉技术的诞生。

双目立体视觉原理

人之所以能够感受到立体视觉，是因为人的左右眼之间有6到7cm的间隔，因此，左眼

与右眼看到的影像会有细微的差别，所以我们很容易判断物体的远近以及多个物体的前后关

系。

双目立体视觉的基本原理与人眼观察世界的方式类似，双目立体视觉获取图像是通过不

同位置的两台摄像机或者一台摄像机经过平移或旋转拍摄同一幅场景，来获取立体图像对。

双目立体视觉系统

一个完整的双目立体视觉系统通常可分

为数字图像采集、相机标定、图像预处理与

特征提取、图像校正、立体匹配、三维重建

六大部分。如右图所示。

双目立体视觉系统

1.图像的获取

图像的采集是图像处理的前提和立体视觉的物质基础。数字图像采集中常用的硬件设备

有扫描仪、数码相机、工业 CCD 相机和视频采集卡。进行视频采集时，不但要满足双目立

体视觉系统的应用要求，而且要考虑视点差异、光照条件、相机性能及景物特点等因素的影

响。

双目立体视觉系统

2.相机标定

对双目体视而言，对它们的标定是实现立体视觉基本而又关键的一步。通常先采用单目

相机的标定方法，分别得到两个摄像机的内、外参数，再通过同一世界坐标中的一组定标点

来建立两个相机之间的位置关系。

双目相机标定时需要注意以下几个方面。

（

1）相机安装的位置应考虑与被测物体的距离。

2）相机位置确定后，应将两个相机进行固定。

3）将标定板放置在两个相机都能够完全拍到的位置上。

4）两个相机的光照环境应尽可能一致。

双目立体视觉系统

3.图像预处理与特征提取

获得图像后，需对获取的图像进行预处理。因为在图像获取过程中，存在一系列的噪声

源，通过此处理可显著改进图像质量，使图像中特征点更加突出。然后进行特征点的提取，

对立体像对中需要提取的特征点应满足以下要求：

①

与传感器类型及抽取特征所用技术等相适应；

具有足够的鲁棒性和一致性。

②

双目立体视觉系统

4.图像校正

标定结束后，可以使用双目相机拍摄被测物体，获取立体图像对。此时注意不要改变相

机的内部参数或者移动相机，以免使通过标定获得的相机内部参数和外部参数失效。

5.立体匹配

为了获得测量对象的深度信息，需要先求出立体图像对的视差图，这就需要对校正后的

图像对进行立体匹配。立体匹配是双目体视中最关键、困难的一步。与普通的图像配准不同，

立体像对之间的差异是由摄像时观察点的不同引起的，而不是由其它如景物本身的变化、运

动所引起的。

binocular_disparity算子运行实例

binocular_disparity算子运行程序如下：

*

读取双目图像

read_image(Imagel, 'data/stereo-left')

read image(Image2, 'data/stereo-right')

*

进行立体匹配并返回视差图和匹配分数图

binocular_disparity (LImage, RImage, DisparityNCC, Score, 'ncc', 11, 11, 0, -45, 10, 3, 0.3, 'left_right_check', 'interpolation')

双目立体视觉系统

多目立体视觉

多目立体视觉使用两个以上的相机，多目相机的标定与前文提到的双目相机标定大致相

同。三（多）目视觉的最大优点是可以利用第三个（或多个）相机所提供的额外的极线约束

来解决局部双目匹配存在的，由多个候选匹配点的不确定性而引起的误匹配问题。同时可以

呈现出更多的视角，不仅能反映物体的表面信息，甚至还能还原整个三维场景。

激光三角测量

三角测量法是一种位移测量方法 ,其最大优点是非接触性测量。

通过三维激光扫描获取的图像纹理丰富、分辨率高、具有更好的深度和

范围信息，能更好地满足微小产品的视觉检测需求，故在工业应用和基

础科学研究中被广泛使用，对微小产品平面度测量技术的研究就显得尤

为重要，成为近年来机器视觉研究领域中的热点。

激光三角法原理

激光三角法的原理是激光器发出激光照射到被测表

面，激光在被测物表面形成反射，返回到成像器，从而

计算出物体的高度。

由于入射光和反射光构成一个三角形 ,所以这种方

法被称为三角测量法。

如果激光线投射到物体表面的高度不同，则发光线

条不会是一条直线，而是一条表现物体表面高度轮廓的

线。

通过这条轮廓线，就可以得到物体表面的高度差。

右图为激光三角测量示意图。

技术原理

1.直射式

直射式三角法测量等效光路如图9-3-1所示。激光器发出的光线,经会聚透镜聚焦后垂直入射到

被测物体表面上 ,物体移动或表面变化导致入射光点沿入射光轴移动。接收透镜接收来自入射光点

处的散射光,并将其成像在光点位置探测器 (如 PSD、CCD)敏感面上。但由于传感器激光光束与被

测面垂直，因此只有一个准确的调焦位置，其余位置的像都处于不同程度的离焦状态。

技术原理

2.斜射式

下图为斜射式三角测量原理图。激光器发出的光与被测面的法线方向成一定角度入射到被测面上，

同样用接收透镜接收光点在被测面的散射光或反射光。

两种三角位移传感器特性的比较

激光三角传感器硬件参数

激光三角传感器组成部分包括摄像机、激光器等，在本节中，我们将对激光三

角传感器的参数进行介绍，在表9-1中列举了激光三角传感器的基本参数。

表9-1

视野范围

测量范围

近|中|远 10.5|11|11.5毫米

5毫米

最佳工作距离

垂直分辨率（Z）

水平分辨率（Y）

Z线性度

23.5毫米

0.37-0.45微米

5.8-6.8微米

0.015%（0.015微米/毫米）

0，1微米

Z重复精度

使用激光三角技术进行测量

测量的主要步骤如下：

（

1）对测量系统（包括激光平面、相机）进行标定。

2）使用create_sheet_of_light算子创建激光三角技术模型。

3）采集每个轮廓线的图像。

4）使用measure_profile_sheet_of_light算子测量每张图中的轮廓线。

5）使用get_sheet_of_light_result算子获取测量的结果。如果需要访问结果中的3D模型，

可以使用get _sheet_of_light _result_object_model_3d算子。

6）使用clear_sheet_of_light_model算子从内存中清除激光三角模型。

（

ꢀ

小结ꢀꢀ

本章小结

在本章中我们介绍了如何运用相机标定将相机坐标系与世界坐标系

进行对应，如何校正镜头的各种畸变，以及介绍了两种获取图像三维信

息的两种方法，分别是双目立体视觉、激光三角测量。

习ꢀ题

1.常用的坐标系有哪几种，分别是什么坐标系？简要说明

各坐标系的代表含义。

2

3

4

.为什么要进行标定？如何Halcon对图像进行标定？

.双目立体视觉系统主要包括那几部分？

.什么是激光三角测量技术？请简要说明其原理。